Square Error, SE
경사하강법에서 핵심적으로 사용
절댓값을 씌운 절대 오차 합계(SAE)는 절댓값에 의해 구분되는 0에서 미분이 불가능하기 때문에 경사하강법 사용 불가
Sum of Squares for Error, SSE
(보통은 1/2를 곱하여서 사용)델타 규칙(Delta Rule) 최적의 가중치를 찾아가는 최적화에서 사용되는 경사하강법의 기울기를 기반으로 실시,
오류를 최소화하기 위해서 1/2를 곱한다.
Mean Square Error, MSE
SSE와 MSE는 사실상 비슷하다.
MSE를 사용하는 이유
오차 제곱합으로는 실제 오차가 커서 값이 커지는 것인지 데이터의 양이 많아서 값이 커지는 것인지 구분할 수가 없다.
빅데이터에서 일반적으로 SSE보다 MSE가 더욱 추천됨
연속형 데이터를 사용할 때 주로 사용된다.
Root Mean Square Error, RMSE
분산 대신 표준편차를 사용하듯이
MSE는 실제 오차의 편차 평균이 아니라, 오차의 편차의 제곱의 평균이다.
이는 실제 오차를 반영하지 못한다.(큰 오류를 작은 오류에 비해 확대시킨다.
(제곱근을 사용한다고 해서 실제 편차라고 할 수는 없지만, 오차의 존재를 인지하는데 도움이 된다.)
연속형 데이터를 사용할 때 주로 사용된다.
Mean Absolute Error, MAE
평균 절대값 오차(MAE)는 0에서 미분이 불가능하기 때문에 경사하강법에서 최적의 값에 가까워져
도
이동거리가 일정해 최적의 값에서 수렴하지 못한다.
Cross Entropy Error, CEE
교차 엔트로피는 특정 클래스에 속할 정보량을 이용한다.
정보량이 0에 가까워져 발생 확률이 1에 가깝게 만드는 것이 목적이다.
Binary Cross Entropy Error, BCEE
y=0의 교차 엔트로피 H(y)와 y=1의 교차 엔트로피 H(1-y)의 평균과 같다.
Categorical Cross Entropy Error, CCEE
모든 범주에 대한 교차 엔트로피에 대한 평균과 같다.